草庐IT

Smooth L1 Loss

全部标签

quality focal loss & distribute focal loss 解说(附代码)

参见generalizedfocallosspaper其中包含有QualityFocalLoss和DistributionFocalLoss。目录QualityFocalLossDistributeFocalLossQualityFocalLoss先来说一下QualityFocalLoss,在这之前,先要了解一下FocalLoss,在这篇文章里有写过。它主要是解决classimbalance,同时降低容易分类的weight,使训练更集中到难分类的上面我们从crossentropy入手:crossentropy的公式如下:把其中的y=1时为p,y=0时1-p写成一个ptp_{t}pt​那么,cr

Python绘制loss曲线、准确率曲线

Python绘制loss曲线、准确率曲线使用python绘制网络训练过程中的的loss曲线以及准确率变化曲线,这里的主要思想就时先把想要的损失值以及准确率值保存下来,保存到.txt文件中,待网络训练结束,我们再拿这存储的数据绘制各种曲线。其大致步骤为:数据读取与存储->loss曲线绘制->准确率曲线绘制一、数据读取与存储部分我们首先要得到训练时的数据,以损失值为例,网络每迭代一次都会产生相应的loss,那么我们就把每一次的损失值都存储下来,存储到列表,保存到.txt文件中。保存的文件如下图所示:[1.3817585706710815,1.8422836065292358,1.161983251

Python绘制loss曲线、准确率曲线

Python绘制loss曲线、准确率曲线使用python绘制网络训练过程中的的loss曲线以及准确率变化曲线,这里的主要思想就时先把想要的损失值以及准确率值保存下来,保存到.txt文件中,待网络训练结束,我们再拿这存储的数据绘制各种曲线。其大致步骤为:数据读取与存储->loss曲线绘制->准确率曲线绘制一、数据读取与存储部分我们首先要得到训练时的数据,以损失值为例,网络每迭代一次都会产生相应的loss,那么我们就把每一次的损失值都存储下来,存储到列表,保存到.txt文件中。保存的文件如下图所示:[1.3817585706710815,1.8422836065292358,1.161983251

NLL loss(负对数似然损失)

NLL损失在NLP中含义:在自然语言处理中,通常用于分类任务,例如语言模型、情感分类等。NLL损失全称为NegativeLog-LikelihoodLoss,其含义是负对数似然损失。在NLP任务中,我们通常将文本数据表示为一个序列,例如单词序列或字符序列(一句话就是一个序列【sequence】)。对于分类任务,我们需要将每个序列映射到一个类别标签。因此,我们需要一个模型,能够将输入序列映射到输出标签。在模型训练期间,我们需要最小化模型预测结果和真实标签之间的差异,以使模型的预测结果更加接近真实结果,使用NLL损失可以帮助我们实现这一点。具体来说,对于一个输入序列x和真实标签y,我们可以使用模型

NLL loss(负对数似然损失)

NLL损失在NLP中含义:在自然语言处理中,通常用于分类任务,例如语言模型、情感分类等。NLL损失全称为NegativeLog-LikelihoodLoss,其含义是负对数似然损失。在NLP任务中,我们通常将文本数据表示为一个序列,例如单词序列或字符序列(一句话就是一个序列【sequence】)。对于分类任务,我们需要将每个序列映射到一个类别标签。因此,我们需要一个模型,能够将输入序列映射到输出标签。在模型训练期间,我们需要最小化模型预测结果和真实标签之间的差异,以使模型的预测结果更加接近真实结果,使用NLL损失可以帮助我们实现这一点。具体来说,对于一个输入序列x和真实标签y,我们可以使用模型

多任务的loss优化

1、多任务学习优化面临的问题多任务学习经常会出现跷跷板现象,即两个任务联合学习的时候,可能一个任务效果变好,另一个任务效果变差。究其本质,核心是训练过程中存在以下3个方面问题:多任务梯度方向不一致:同一组参数,不同的任务更新方向不一致,导致模型参数出现震荡,任务之间出现负迁移的现象,一般出现在多个任务之间差异较大的场景;多任务收敛速度不一致:不同的任务收敛速度不一样,有的任务比较简单收敛速度快,有的任务比较困难收敛速度慢,导致模型训练一定轮数后,有的任务已经overfitting,有的任务还是underfitting的状态;多任务loss取值量级差异大:不同的任务loss取值范围差异大,模型被

多任务的loss优化

1、多任务学习优化面临的问题多任务学习经常会出现跷跷板现象,即两个任务联合学习的时候,可能一个任务效果变好,另一个任务效果变差。究其本质,核心是训练过程中存在以下3个方面问题:多任务梯度方向不一致:同一组参数,不同的任务更新方向不一致,导致模型参数出现震荡,任务之间出现负迁移的现象,一般出现在多个任务之间差异较大的场景;多任务收敛速度不一致:不同的任务收敛速度不一样,有的任务比较简单收敛速度快,有的任务比较困难收敛速度慢,导致模型训练一定轮数后,有的任务已经overfitting,有的任务还是underfitting的状态;多任务loss取值量级差异大:不同的任务loss取值范围差异大,模型被

yolov5增加iou loss(SIoU,EIoU,WIoU),无痛涨点trick

        yolo无痛涨点trick,简单实用        先贴一张最近一篇论文的结果后来的几种iou的消融实验结果在一定程度上要优于CIoU。        本文将在yolov5的基础上增加SIoU,EIoU,Focal-XIoU(X为C,D,G,E,S等)以及AlphaXIoU。        在yolov5的utils文件夹下新增iou.py文件importmathimporttorchdefbbox_iou(box1,box2,xywh=True,GIoU=False,DIoU=False,CIoU=False,SIoU=False,EIoU=False,WIoU=False,

yolov5增加iou loss(SIoU,EIoU,WIoU),无痛涨点trick

        yolo无痛涨点trick,简单实用        先贴一张最近一篇论文的结果后来的几种iou的消融实验结果在一定程度上要优于CIoU。        本文将在yolov5的基础上增加SIoU,EIoU,Focal-XIoU(X为C,D,G,E,S等)以及AlphaXIoU。        在yolov5的utils文件夹下新增iou.py文件importmathimporttorchdefbbox_iou(box1,box2,xywh=True,GIoU=False,DIoU=False,CIoU=False,SIoU=False,EIoU=False,WIoU=False,

利用图像二维熵实现视频信号丢失检测(Signal Loss Detection)

1图像二维熵图像二维熵作为一种特征评价尺度能够反映出整个图像所含平均信息量的高低,熵值(H)越大则代表图像所包含的信息越多,反之熵值(H)越小,则图像包含的信息越少。对于图像信息量,可以简单地认为图像的边缘信息越多则图像的信息量越大。二维熵公式如下所示:2信号丢失检测2.1画面对比由于信号丢失所产生的画面大部分均由简单的纯色或少色的人造图像,再加上“信号丢失”提示信息所构成,因此信号丢失画面的信息量与正常图像相比较低,因此其对应的二维熵值更小。例如:上图所示的信号丢失画面由黑色屏幕加上信号丢失提示组成,画面简单,信息量较低。而正常画面具有更多的边缘信息,相较于信号丢失画面,正常图像具有更高的信